Khu vực phường 5 ngày nay nằm trên địa phận làng Thắng Nhì, nguyên là một trong 3 làng thủy binh người Việt lập trên đất Vũng Tàu thời đầu thế kỷ 19. Các địa danh Bến Đá, Bến Đình đã có từng lâu đời. Ngoại trừ khu vực Bến Đá vốn sát với làng chài Bến Đình, các khu dân cư Sao Mai, Bãi Dâu đều là các vùng rừng rậm, khỉ ho cò gáy.

Sau khi chiếm được Nam Kỳ từ tay nhà Nguyễn, người Pháp đã xây dựng nhiều cơ sở quân sự phòng vệ lớn ở Vũng Tàu, trong đó có trận địa pháo trên sườn Núi Lớn xây dựng năm 1905 được xem là lớn nhất Đông Dương.[4]

Năm 1926, một giáo dân công giáo tên Lê Hữu Lương khai thác một khu đất quanh sườn núi và đất bằng ở Vũng Mây. Tháng 4 năm 1926, ông chuyển giao khu đất này cho ông bà Nguyễn Hồng Ân (còn gọi là Vệ Ân). Sau đó, ông bà Ân xây một nhà nguyện đá rồi dâng nhà nguyện và đất đai cho Hội Thừa sai Paris. Các cha thừa sai cho phá rừng để trồng dâu nuôi tằm để tạo công ăn việc làm cho nhiều người mới đến: từ đó có tên gọi Bãi Dâu.[5] Về sau, Giáo hội công giáo phát triển địa điểm này thành trung tâm hành hương quy mô lớn, với đền thánh Đức Mẹ Maria bồng con và nhiều cơ sở của các dòng tu lớn trong Giáo phận công giáo.

Sau hiệp định Genève chia đôi đất nước Việt Nam, khu vực phường 5 thuộc xã Thắng Nhì, thị xã Vũng Tàu, sau là quận Vũng Tàu, tỉnh Phước Tuy (1956). Giai đoạn 1954-1956, chính quyền Ngô Đình Diệm đã đưa rất nhiều người Công giáo sinh sống rải rác ở Vũng Tàu. Nhóm giáo dân từ giáo xứ Phương Chính, địa phận Bùi Chu, tỉnh Nam Định về định cư tại làng chài Bến Đá và khai sinh ra giáo xứ Bến Đá.[6] Một nhóm giáo dân khác từ Bùi Chu di cư vào Cần Giờ, rồi tới Phan Thiết lập nghiệp. Năm 1957, nhóm giáo dân này lại di chuyển về xã Thắng Nhì, lập nên giáo xứ Sao Mai.

Năm 1957, ông Lê Quang Vinh, một cựu công chức chính quyền thuộc địa Pháp về hưu khai phá một vùng đất hoang vu trên sườn Núi Lớn gần Bến Đá, lập nên Thiền Lâm Tự. Ông xuất gia tu hành, lấy pháp danh Thích Giác Pháp. Năm 1962, Giáo hội Tăng già Nguyên thủy nhận thấy Thiền Lâm Tự tọa lạc ở một vị trí có khung cảnh thiên nhiên đẹp, là vùng đắc địa tụ kết khí thiêng, lại thuận tiện giao thông đi lại cho chư tăng, phật tử thập phương hành hương nên đã lập đồ án xây dựng quy mô Thiền Lâm Tự thành Thích Ca Phật Đài.[7]

Ngày 22 tháng 8 năm 1974, phường Thắng Nhì tách các khóm Bình Lợi, Bình Hải và Sao Mai để lập phường Phước Hải.

Sau ngày thống nhất, phường Phước Hải lại được nhập vào phường Thắng Nhì.

Ngày 14 tháng 5 năm 1986, Hội đồng Bộ trưởng chia 5 phường hiện hữu thành 11 phường mang tên số. Trong đó, phường Thắng Nhì được chia tách thành các phường 5, 6, 7 và 9.[1] Khi mới thành lập, phường trực thuộc đặc khu Vũng Tàu – Côn Đảo.

Ngày 12 tháng 8 năm 1991, đặc khu Vũng Tàu - Côn Đảo giải thể[8], phường 5 trực thuộc thành phố Vũng Tàu như hiện nay.

Năm 2020, thành phố Vũng Tàu tiến hành xây dựng bến phà biển ở gần cảng Sao Mai, phường 5. Ngày 4 tháng 1 năm 2021, tuyến phà biển Vũng Tàu - Cần Giờ chính thức khai trương, giúp rút ngắn khoảng cách di chuyển từ Vũng Tàu đến Cần Giờ chỉ còn 30 phút.